搭建nginx反向代理用做内网域名转发 - 运维生存时间

创建时间：2017/5/5 15:43
来源：http://www.ttlsa.com/nginx/use-nginx-proxy/


搭建nginx反向代理用做内网域名转发

情景

由于公司内网有多台服务器的http服务要映射到公司外网静态IP，如果用路由的端口映射来做，就只能一台内网服务器的80端口映射到外网80端口，其他服务器的80端口只能映射到外网的非80端口。非80端口的映射在访问的时候要域名加上端口，比较麻烦。并且公司入口路由最多只能做20个端口映射。肯定以后不够用。
然后k兄就提议可以在内网搭建个nginx反向代理服务器，将nginx反向代理服务器的80映射到外网IP的80，这样指向到公司外网IP的域名的HTTP请求就会发送到nginx反向代理服务器，利用nginx反向代理将不同域名的请求转发给内网不同机器的端口，就起到了“根据域名自动转发到相应服务器的特定端口”的效果，而路由器的端口映射做到的只是“根据不同端口自动转发到相应服务器的特定端口”，真是喜大普奔啊。

涉及的知识：nginx编译安装，nginx反向代理基本配置，路由端口映射知识，还有网络域名等常识。

本次实验目标是做到：在浏览器中输入xxx123.tk能访问到内网机器192.168.10.38的3000端口，输入xxx456.tk能访问到内网机器192.168.10.40的80端口。

配置步骤

服务器ubuntu 12.04

###更新仓库

1
2
apt-get update -y
apt-get install wget -y

#下载nginx和相关软件包

pcre是为了编译rewrite模块，zlib是为了支持gzip功能。额，这里nginx版本有点旧，因为我还要做升级nginx的实验用。大家可以装新版本。

1
2
3
4
5
6
cd /usr/local/src
wget <a href="ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz">ftp://ftp.csx.cam.ac.uk/pub/software/programming/pcre/pcre-8.33.tar.gz</a>
wget <a href="http://zlib.net/zlib-1.2.8.tar.gz">http://zlib.net/zlib-1.2.8.tar.gz</a>
wget <a href="http://nginx.org/download/nginx-1.4.2.tar.gz">http://nginx.org/download/nginx-1.4.2.tar.gz</a>
tar xf pcre-8.33.tar.gz
tar xf zlib-1.2.8.tar.gz

#安装编译环境

1
apt-get install build-essential libtool -y

#创建nginx用户

所谓的unprivileged user

1
useradd -s /bin/false -r -M -d /nonexistent www

#开始编译安装

1
2
3
4
/configure --with-pcre=/usr/local/src/pcre-8.33 --with-zlib=/usr/local/src/zlib-1.2.8 --user=www --group=www \
--with-http_stub_status_module --with-http_ssl_module --with-http_realip_module
make
make install

#给文件夹授权

1
chown -R www:www /usr/local/nginx

#修改配置文件
vim nginx.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
user www www;
worker_processes 1;
error_log logs/error.log;
pid logs/nginx.pid;
worker_rlimit_nofile 65535;
events {
    use epoll;
    worker_connections 65535;
}
http {
    include mime.types;
    default_type application/octet-stream;
    include /usr/local/nginx/conf/reverse-proxy.conf;
    sendfile on;
    keepalive_timeout 65;
    gzip on;
    client_max_body_size 50m; #缓冲区代理缓冲用户端请求的最大字节数,可以理解为保存到本地再传给用户
    client_body_buffer_size 256k;
    client_header_timeout 3m;
    client_body_timeout 3m;
    send_timeout 3m;
    proxy_connect_timeout 300s; #nginx跟后端服务器连接超时时间(代理连接超时)
    proxy_read_timeout 300s; #连接成功后，后端服务器响应时间(代理接收超时)
    proxy_send_timeout 300s;
    proxy_buffer_size 64k; #设置代理服务器（nginx）保存用户头信息的缓冲区大小
    proxy_buffers 4 32k; #proxy_buffers缓冲区，网页平均在32k以下的话，这样设置
    proxy_busy_buffers_size 64k; #高负荷下缓冲大小（proxy_buffers*2）
    proxy_temp_file_write_size 64k; #设定缓存文件夹大小，大于这个值，将从upstream服务器传递请求，而不缓冲到磁盘
    proxy_ignore_client_abort on; #不允许代理端主动关闭连接
    server {
        listen 80;
        server_name localhost;
        location / {
            root html;
            index index.html index.htm;
        }
        error_page 500 502 503 504 /50x.html;
        location = /50x.html {
            root html;
        }
    }
}

编辑反向代理服务器配置文件：
vim /usr/local/nginx/conf/reverse-proxy.conf

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
server
{
    listen 80;
    server_name xxx123.tk;
    location / {
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://192.168.10.38:3000;
    }
    access_log logs/xxx123.tk_access.log;
}
 
server
{
    listen 80;
    server_name xxx456.tk;
    location / {
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://192.168.10.40:80;
    }
    access_log logs/xxx456.tk_access.log;
}

然后重新加载nginx配置文件，使之修改生效，再把xxx123.tk域名指向公司静态IP，这样就成功的做到了在浏览器中输入xxx123.tk的时候访问的内网服务器192.168.10.38的3000端口,输入xxx456.tk访问192.168.10.40的80端口的作用。
如果想对后端机器做负载均衡，像下面这配置就可以把对nagios.xxx123.tk的请求分发给内网的131和132这两台机器做负载均衡了。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
upstream monitor_server {
    server 192.168.0.131:80;
        server 192.168.0.132:80;
}
 
server
{
    listen 80;
    server_name nagios.xxx123.tk;
    location / {
        proxy_redirect off;
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_pass http://monitor_server;
    }
    access_log logs/nagios.xxx123.tk_access.log;
}

额，关于负载均衡和缓存就不多说了，这里只是要起到一个简单的“域名转发”功能。
另外，由于http请求最后都是由反向代理服务器传递给后段的机器，所以后端的机器原来的访问日志记录的访问IP都是反向代理服务器的IP。
要想能记录真实IP，需要修改后端机器的日志格式，这里假设后端也是一台nginx：
在后端配置文件里面加入这一段即可：

1
2
3
4
5
log_format access '$HTTP_X_REAL_IP - $remote_user [$time_local] "$request" '
'$status $body_bytes_sent "$http_referer" '
'"$http_user_agent" $HTTP_X_Forwarded_For';
 
access_log logs/access.log access;

再看看原来日志的格式长什么样：

1
2
3
4
5
#log_format main '$remote_addr - $remote_user [$time_local] "$request" '
# '$status $body_bytes_sent "$http_referer" '
# '"$http_user_agent" "$http_x_forwarded_for"';
 
#access_log logs/access.log main;

看出区别了吧

 

遇到的问题

 

  • 之前没配置下面这段，访问时候偶尔会出现504 gateway timeout，由于偶尔出现，所以不太好排查

1
2
3
4
5
6
7
8
    proxy_connect_timeout 300s;
    proxy_read_timeout 300s;
    proxy_send_timeout 300s;
    proxy_buffer_size 64k;
    proxy_buffers 4 32k;
    proxy_busy_buffers_size 64k;
    proxy_temp_file_write_size 64k;
    proxy_ignore_client_abort on;

报错日志：

1
...upstream timed out (110: Connection timed out) while reading response header from upstream, client: ...(后面的省略）

从日志看来是连接超时了，网上一通乱查之后估计可能是后端服务器响应超时了，本着大胆假设，小心求证的原则，既然假设了错误原因就要做实验重现错误：那就调整代理超时参数，反过来把代理超时阀值设小（比如1ms）看会不会次次出现504。后来发现把proxy_read_timeout 这个参数设置成1ms的时候，每次访问都出现504。于是把这个参数调大，加入上面那段配置，解决问题了。

作者邮箱：790455803@qq.com，有问题可以直接EMAIL作者，当然也可以加入我们ttlsa群单独私聊或者群里发提问。

    A+
发布日期：2013年12月30日  所属分类：Nginx  ttlsa教程系列

发表评论

昵称

邮箱

网址

滑动解锁才能提交

目前评论：25   其中：访客  19   博主  0   引用   6

  1. 星小烦 5
    回复 2017年02月27日 上午 10:35  沙发

    不错，完全可以。

  2. eviljelly 0
    回复 2016年04月11日 下午 1:18  板凳

    我在树莓派上搭建了lnmp环境，利用nginx反向代理设置
    location / {
    proxy_redirect off;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://192.168.15.190:80;
    }
    域名xxx.com绑定到外网IP，无法访问啊，请问还需要其他设置吗

  3. 匿名 5
    回复 2016年03月24日 下午 5:31  地板

    xxx456.tk是真实域名吗？为何我试了不能解析呢？

  4. […] 17. lnmp架构下php安全配置分享 18. nginx tcp代理 19. nginx正向代理 20. 搭建nginx反向代理用做内网域名转发 21. nginx+keepalived+proxy_cache 配置高可用nginx群集和高速缓存 22. Nginx 战斗准备 […]

  5. XXX 5
    回复 2015年01月05日 下午 11:57  5楼

    把案例的3000端口换成默认的web80端口，不知道能不能成功啊？

  6. Aceslup 5
    回复 2014年12月24日 上午 9:15  6楼

    504问题没有502问题神奇呢。博主不知道有没有遇到过。

    • TSA 5
      回复 2014年12月24日 上午 9:51  1层

      @Aceslup 502一般是程序方面超时了

      • Aceslup 5
        回复 2014年12月24日 上午 11:27  2层

        @TSA 嗯。那就是需要从连接到后端，或后端应用来进行排查了。目前正在做。

      • Aceslup 5
        回复 2014年12月24日 上午 11:52  2层

        @TSA 另外，@TSA 我有个小问题尤其不理解。希望你能抽空帮我解惑。先说下架构吧。代理nginx，后端应用php+nginx。经常在网上看到这样的配置。location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$ { expires 30d; }。有很多解释。一些称为缓存在客户端浏览器。一些称为缓存到前端代理，不经过php应用。so，那么问题来了：
        1、这个location块应该放在代理nginx，还是后端应用的nginx。（假如是我这个架构）
        2、就是网上的解释哪个正确
        3、这些gif，jpg…缓存在哪个位置。（因为有时候做自定义页面跳转时经常读不到图片，虽然能正常跳转了）
        不知道这些问题是否很低级，但总算是我的一个学习过程。希望@TSA或大伙能帮我解惑。在这谢谢大家了。

        • TSA 5
          回复 2014年12月24日 下午 1:48  3层

          @Aceslup 你把代理nginx当做浏览器，前端后端都可以，具体看配置。为了加深记忆，建议你做实验。

          • Aceslup 5
            2014年12月24日 下午 2:22  4层

            @TSA 是在做实验过程中碰到的。只是无法区别放在代理上和后端应用上的效果。自己测试的是nginx+php（相当于是后端应用），设置的自定义页面root（/html）和php页面root（/www）不一样。正确缓存了后端应用jpg，则自定义页面的就打不开了。也是醉了。

          • Aceslup 5
            2014年12月24日 下午 3:52  4层

            @TSA @TSA 我又重新做了测试，发现不显示图片和这条指令似乎没关系。关键在于，匹配访问这个链接（假设是/images/weihu.png）是否有location匹配了。不知道理解对不对？望指正。

      • Aceslup 5
        回复 2014年12月24日 上午 11:53  2层

        @TSA 另外，@TSA 我有个小问题尤其不理解。希望你能抽空帮我解惑。先说下架构吧。代理nginx，后端应用php+nginx。经常在网上看到这样的配置。location ~ .*.(gif|jpg|jpeg|png|bmp|swf)$ { expires 30d; }。有很多解释。一些称为缓存在客户端浏览器。一些称为缓存到前端代理，不经过php应用。so，那么问题来了：
        1、这个location块应该放在代理nginx，还是后端应用的nginx。（假如是我这个架构）
        2、就是网上的解释哪个正确
        3、这些gif，jpg…缓存在哪个位置。（因为有时候做自定义页面跳转时经常读不到图片，虽然能正常跳转了）
        不知道这些问题是否很低级，但总算是我的一个学习过程。希望@TSA或大伙能帮我解惑。在这谢谢大家了。

  7. Aceslup 5
    回复 2014年12月24日 上午 9:15  7楼

    从理解，yyy.com这个只是upstream池中的一个内网机器，不是真正的域名。这样跳其实很正常。

  8. 天天 1
    回复 2014年10月07日 下午 4:12  8楼

    博主有没有遇到过这种情况？
    server
    {
    listen 80;
    server_name xxx.com;
    location / {
    proxy_redirect off;
    proxy_set_header Host $host;
    proxy_set_header X-Real-IP $remote_addr;
    proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
    proxy_pass http://yyy.com/abc;
    }
    }
    这样配置的话，有时候访问xxx.com会跳到xxx.com/abc
    而且有些图片路径会变成xxx.com/abc/111.jpg
    我在用apache代理的时候就不会有上面这些问题，但是我要后端的服务器获得访问者IP，但是apache好像没有类似X-Real-IP $remote_addr这种设置，只好用nginx
    博主能不能解答下呢

    • 天龙 5
      回复 2014年11月11日 下午 11:05  1层

      @天天 我觉得是location的匹配问题

      • 天天 1
        回复 2014年12月25日 上午 9:54  2层

        @天龙 关键是这样跳转不是每次都是，大部分还是正常地址xxx.com，只有少数几次会出现xxx.com/abc，请问有什么解决办法吗？

  9. peng 5
    回复 2014年05月13日 下午 3:03  9楼

    aa

    10. 来自外部的引用： 6